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基于 开源 关系 数据 库 的 CMS 高 可 用 容 灾 设计 


摘 要 : 本 文 似 述 了 基于 Mysql 全 备份 和 binlog 日 志 互 补 方式 实现 高 负荷 新 闻 发 布 系统 自动 化 容 灾 备份 的 方法 ， 在 机 房 发 生 
全 局 性 故障 的 情况 下 ， 在 最 短 时 间 内 启用 容 灾 机 房 备份 系统 进行 后 续 发 稿 的 业务 要 求 。 
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中 新 网 CMS 目前 每 日 上 线 用 户 数 约 280 人 ， 日 发 稿 
万 条 。 每 日 新 增 数据 库 记 录 10 万 笔 以 上 ， 高 峰 期 数据 库 
查询 达到 500 QPS。 由 于 中 新 网 实行 7x 24 小 时 不 间断 发 
稿 ， 一 方面 系统 必须 具备 容 灾 能 力 ， 主 节点 发 生 故 障 时 
需要 能 够 切换 到 备用 节点 继续 提供 服务 ， 另 一 方面 要 充 
分 考虑 备份 产生 的 流量 对 带宽 的 占用 ， 以 免 在 业务 高 峰 
期 时 影响 业务 正常 开展 。 
1.CMS 系统 介绍 
1.1 应 用 简介 

CMS 系统 是 一 套 B/S 结构 的 Web 应 用 系统 ， 以 
Apache 作为 Web 服务 器 , 后 端 采 用 Mysql 开源 数据 库 作 
为 核心 的 内 容 存 储 。 编 辑 人 员 在 发 布 系统 中 上 传 图 文 视 
频 等 各 类 稿件 素材 ， 经 过 排版 编辑 ， 设 定 各 类 栏目 及 选 
项 ,通过 发 布 系统 组 织 成 为 带 有 格式 的 新 闻 页 面 ， 经 过 多 
级 审核 后 ， 将 新 闻 页 面 通过 分 发 服务 器 生成 静态 页 面 分 
发 至 各 浏览 服务 器 中 提供 用 户 访问 。 

1. 2 相关 技术 
1.2.1 MyISAM 数据 库 引 学 

Mysql 数据 库 随 着 功能 的 日 益 完 善 和 可 靠 性 的 不 断 提 
高 , 已 经 成 为 互联 网 平台 上 应 用 最 广泛 的 开源 关系 数据 
库 软 件 。 

Mysql 使 用 的 存储 引擎 之 一 MyISAM， 相 比 其 它 存储 
引擎 ， 具 备 以 下 优势 : 文件 结构 相对 独立 ， 数 据 文件 可 
被 压缩 ， 节 省 存储 空间 ; 跨 平台 可 移植 性 比较 好 ， 在 备 
份 和 恢复 时 可 单独 针对 某 个 表 进 行 操作 ,方便 实施 以 文 
件 为 基础 的 备份 策略 ; 查询 速度 较 快 ;当然 ， 这 种 引擎 
也 存在 一 定 不 足 ， 包 括 : 不 支持 事务 ; 数据 库 写 人 时 为 
表 锁 定 ， 不 支持 行 级 锁定 。 

由 于 中 新 网 CMS 系统 要 求 较 高 的 查询 速度 ， 且 针对 
写 入 时 表 锁 定 的 情况 进行 了 分 表 处 理 , 并 对 数据 库 查 询 、 
写 人 已 经 做 了 大 量 优化 工作 。 为 提高 整体 运行 效率 ， 提 
升 可 维护 性 、 可 管理 型 ， 我们 选择 使 用 MyISAM 引擎 作 
为 Mysql 的 存储 引擎 。 
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1.2.2 rsync 

rsync 全 称 remote sync, 是 一 种 高 效 的 远程 数据 同步 
工具 ，rsynec 使 用 “rsyne 算法 ”来 使 本 地 和 远程 文件 达到 
同步 ， 这 个 算法 只 传送 两 个 文件 的 不 同 部 分 ， 而 不 是 每 
次 都 整 份 传送 ， 因 此 传送 效率 很 高 ， 而 且 可 以 通过 ssh 方 
式 传输 文件 ， 安 全 性 较 好 。 
1.2.3 ElasticSearch 

ElasticSearch 是 一 个 基于 Lucene 的 搜索 服务 器 ， 它 
不 仅仅 是 全 文 搜索 引擎 ， 同 时 也 是 优秀 的 分 布 式 实时 文 
件 存 储 ，ES 的 集群 部 署 方式 可 以 扩展 到 上 百 台 服务 器 ， 
人 处理 PB 级 结构 化 或 者 非 结构 化 数据 。 
2. 传统 的 备份 方案 的 不 足 

由 于 业务 数据 及 结构 原因 ， 中 新 网 CMS 不 能 简单 的 
使 用 Mysql 的 主 从 机 制 进行 数据 库 备 份 系统 的 同步 ， 所 
以 数据 库 数据 的 同步 依靠 传输 数据 库 文件 来 实现 ， 但 同 
时 带 来 的 问题 是 ， 庞 大 的 数据 库 表 中 ， 我 们 只 插入 或 者 
修改 一 小 部 分 记录 的 数据 ， 从 数据 库 文件 的 角度 上 看 是 
这 个 表 文 件 发 生 了 变化 ， 文 件 级 同步 则 系统 对 这 个 很 大 
的 数据 库 文件 做 整体 的 差异 分 析 及 同步 ,虽然 rsync 技 
术 可 以 只 同步 文件 差异 部 分 的 内 容 ， 但 从 实际 效果 看 ， 
rsynce 对 于 分 析 mysql 自行 组 织 的 二 进 制 文件 的 分 析 并 不 
精准 ， 往 往 对 一 个 表 的 轻微 修改 会 带 来 很 大 的 传输 量 。 
同步 数据 一 方面 大 量 占用 了 网 络 的 带宽 资源 ， 另 一 方面 
由 于 传输 时 间 比 较 长 ， 加 之 Mysql 实例 并 不 能 将 实时 的 
内 容 刷 新 至 磁盘 文件 ， 所 以 造成 了 备用 系统 与 主 库 依然 
存在 较 大 差异 。 采 用 这 种 备份 方式 ， 会 导致 业务 中 断 时 
间 很 长 , 在 发 稿 密度 极 高 且 24 小 时 要 求 不 中 断 的 情况 下 ， 
这 种 备份 方式 是 无 法 满足 业务 需求 的 。 
3.CMS 高 可 用 系统 的 设计 与 实现 
3. 1 系统 高 可 用 的 业务 指标 

通常 信息 系统 高 可 用 能 力 用 2 个 指标 来 衡量 ， 包 
括 RTO ( Recovery Time Object ) ”和 RPO(Recovery Point 
Object). 指标 的 定义 为 : (1) RTO (恢复 时 间 目 标 ) ， 指 
定 故障 发 生 后 ， 从 业务 停顿 到 系统 恢复 可 以 支持 业务 运 


30 | 研究， 技术 与 应 用 


202310.02292V1 


chinaXiv 


作 时 两 点 之 间 的 时 间 段 。 

(2 ) RPO (恢复 点 目标 ) ， 是 指 一 个 过 去 的 时 间 点 ， 
当 灾 难 或 紧急 事件 发 生 时 ， 数 据 可 以 恢复 到 的 时 间 点 。 
3. 2 采用 元 余 、 备 份 技术 进行 数据 容 灾 
宛 余 技术 是 利用 系统 的 并 联 模型 来 提高 系统 可 用 性 
的 非常 有 效 的 手段 ,CMS 系统 的 高 可 用 结构 也 是 基于 宛 余 
的 思路 设计 实现 ,希望 能 够 实现 两 个 层级 的 元 余 ， 第 一 
层级 为 主机 系统 的 元 余 ， 第 二 层级 为 数据 中 心 的 元 余 。 

在 Web 系统 中 使 用 元 余 结构 的 关键 点 在 于 数据 的 同 
步 ， 数 据 同 步 的 能 力 决 定 了 RPO ( 恢复 点 目标 ) ， 良 好 
的 同步 策略 要 求 RPO 时 间 尽 量 接近 、 等 于 故障 发 生 时 间 ， 
达到 业务 数据 的 最 小 差异 或 者 零 差 异 ， 同 时 也 要 做 到 不 
会 因为 频繁 的 数据 同步 带 来 大 量 的 网 络 传输 ， 占 用 服务 
器 及 网 络 带宽 资源 ， 从 而 影响 到 了 业务 生产 的 使 用 。 

CMS 系统 的 业务 数据 包括 了 应 用 程序 、 产 生 的 业务 
数据 文件 (phtml 页面、 图 片 、 视 频 文件 等 ) 和 数据 库 。 
3.2.1 宛 余 的 部 署 结构 


当 


如 图 1 所 示 ，CMS 系统 部 署 在 两 个 数据 中 心 ， 实 
了 数据 中 心 级 别 的 宛 余 。 网 络 层面 ， 主 机 到 交换 机 ， 
换 机 到 上 层 出 口 设备 均 使 用 了 宛 余 线路 连接 。 

主 数据 中 心 ， 部 署 了 两 套 CMS 系统 用 于 实现 主机 级 
别 的 元 余 。 

两 套 Web 系统 部 署 在 独立 的 物理 主机 中 ， 连 接 各 自 
的 数据 库 ， 两 套 系统 均 可 以 独立 工作 ， 之 间 没 有 任何 业 
务 的 依赖 和 关联 ， 确 保 了 当 一 套 系统 出 现 故 障 时 ， 可 以 
迅速 的 切换 至 备用 系统 
3.2.2Binlog 备份 同步 方案 

数据 的 备份 ， 同 步 使 用 操作 系统 的 计划 任务 程序 实 
现 ， 根 据 配置 好 的 计划 任务 配合 rsyne 命令 来 实现 各 种 同 
步 策略 。 

详细 同步 策略 说 明 如 下 : 

应 用 程序 的 同步 策略 ， 


二 
RR 


| 


1 于 应 用 程序 开发 改造 版 本 
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迭代 没有 时 间 规 律 ， 为 即刻 使 新 版 本 程序 生效 ， 且 不 希望 
使 用 低 效 的 crontab 定时 机 制 ， 造 成 高 频 度 的 资源 消耗 ， 
我 们 采用 了 Linux 的 signal 信号 机 制 实现 了 这 个 功能 ， 即 
新 版 本 上 传 至 指定 目录 后 ,系统 自动 侦 测 到 文件 有 改动 后 ， 
马上 启动 同步 脚本 将 新 的 程序 文件 同步 到 同 网 段 和 异 网 段 
的 备份 主机 中 ， 快 捷 而 高 效 ， 对 系统 的 资源 消耗 较 小 。 

数据 库 全 备份 ， 数 据 库 的 全 备份 在 系统 重 构 环节 是 
必 不 可 少 的 ， 但 是 数据 库 全 备份 会 对 生产 系统 造成 较 大 
的 影响 ， 由 于 数据 保有 量 极 大 ， 备 份 过 程 会 造成 30 分 钟 
以 上 的 系统 “ 伪 瘫 痪 ”， 无 法 承载 高 负荷 的 系统 运行 。 
所 以 ,我们 严格 控制 全 备份 的 频率 ， 每 天 仅 在 凌晨 2 点 
进行 一 次 数据 库 的 全 备份 脚本 操作 。 

数据 库 binlog 文件 同步 ，binlog 日 志 记 录 着 数据 库 所 
有 DDL 和 DML 语句 ， 因 此 包含 了 数据 结构 和 内 容 的 变 
化 ， 将 binlog 进行 备份 的 意义 在 于 ， 通 过 恢复 binlog 不 
但 能 够 保证 数据 库 的 内 容 最 终 一 致 性 ， 重 要 的 是 可 以 记 
录 数 据 变化 的 过 程 ， 一 旦 出 现 数据 丢失 、 误 操作 等 情况 ， 
可 以 根据 冷 备份 和 binlog 将 数据 完全 还 原 ， 且 Binlog 日 
志 收 集 传 输 与 数据 库 全 备份 的 更 大 区 别 是 ， 不 会 使 系统 
运行 缓慢 ， 对 业务 影响 很 小 。 根 据 业 务 情况 ,我们 设 定 
binglog 增 量 文件 同步 周期 为 $ 分 钟 。 

3.2.3 数据 库 内 容 恢复 

应 急 处 理 方案 是 备份 恢复 的 重 中 之 重 ， 只 有 备份 计 
划 ， 如 果 应 急 处 理 方案 不 合理 ， 将 直接 影响 整体 容 灾 方 
案 的 效果 ， 无 法 满足 业务 连续 性 。CMS 系统 分 别针 对 不 
同 的 故障 制定 了 对 应 的 应 急 处 理 方案 。 

(1) 当 系 统 主 节点 出 现 宕 机 或 者 服务 不 可 用 时 ， 
zabbix 监控 和 应 用 监控 可 以 及 时 发 现 故 障 并 通过 短信 ， 微 
信 ， 邮 件 的 方式 告知 运 维 人 员 。 

(2 ) 运 维 人 员 确 认 故 障 严重 程度 ， 如 果 短 时 ( 15 分 
钟 以 内 ) 可 以 在 本 机 进行 故障 的 修复 , 则 进行 故障 的 修复 。 
如 果 判 断 为 严重 的 系统 或 者 硬件 故障 ， 无 法 短 时 在 本 机 
进行 修复 则 启动 应 急切 换 流程 。 

(3 ) 根据 应 急切 换 流程 将 系统 切换 至 备用 系统 中 。 

(4) 在 备用 系统 中 验证 业务 有 效 性 

(5 ) 备用 系统 上 线 提供 服务 

(6) 业务 系统 恢复 使 用 后 ， 进 行 主 节点 系统 的 修复 
工作 

修复 完成 后 验证 主 节点 业务 及 数据 情况 
3.2.4 系统 切换 方法 

在 前 面 介绍 的 整体 应 急 响应 流程 中 ， 最 关键 的 环节 
就 是 系统 切换 环节 。 备 份 策略 的 制定 ， 都 是 为 了 在 故障 
发 生 时 能 够 有 效 的 进行 系统 切换 。 

(1) Web 系统 的 切换 

故障 发 生 在 CMS 系统 所 在 主机 上 ， 该 网 段 其 它 设备 
状况 良好 ， 则 将 同 网 段 的 备份 系统 启用 。 之 前 的 备份 策略 
提 到 ， 备 份 系统 中 ， 应 用 程序 以 及 应 用 程序 所 产生 的 数据 
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文件 都 是 实时 同步 ， 所 以 备用 系统 的 web 服务 是 实时 可 
用 的 ，web 系统 的 切换 方法 为 对 调 主 备 服务 器 的 全 地 址 ， 
这 样 做 的 好 处 在 于 ， 只 在 0SI 模 型 中 的 第 三 层 全 层 做 了 
修改 ， 对 于 上 层 应 用 没有 任何 变化 ， 对 于 DNS 解析 以 及 
其 它 相关 联系 统 的 调用 没有 任何 变更 的 感知 ， 无 需 其 它 系 
统 做 任何 调整 既 可 以 使 备用 的 web 系统 上 线 使 用 。 

如 遇 到 数据 中 心 级 故障 ( 如 出 口 网 络 设备 故障 、 运 
营 商 线路 故障 、 电 力 中 断 等 ) ，web 系统 需要 切换 到 异 
地 机 房 的 备份 web 系统 中 ， 此 时 需要 修改 系统 的 域名 解 
析 ， 并 启用 备份 系统 ， 由 于 是 内 部 系统 ， 并 使 用 了 内 部 
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多 页 这 样 的 页 面 更 适合 采用 动态 的 展示 方式 来 呈现 ， 当 用 户 
浏览 栏目 页 、 内 容 更 多 页 时 ， 可 使 用 ES 来 进行 动态 展示 。 

作为 数据 自动 校 验 工具 。 由 于 ES 库 中 保留 着 编辑 所 
发 的 任何 一 条 稿件 及 其 主要 版 本 ， 利 用 其 这 一 特性 ， 可 
用 于 在 系统 故障 迁移 完成 后 ， 自 动 对 迁移 后 的 数据 库 完 
整 性 进行 校 验 ， 防 止 稿件 丢失 ， 这 个 对 比 过 程 可 通过 预 
先 编写 好 的 脚本 完成 。 此 处 主要 详细 叙述 ES 作为 数据 校 
验 工具 时 的 业务 流程 。 

发 布 系统 生成 内 容 数 据 时 ， 一 边 将 内 容 写 到 mysql 
数据 库 ， 同 时 也 将 关键 的 内 容 数据 写 入 到 ES 集群 中 ，ES 


的 DNS 服务 器 ， 因 此 DNS 生效 时 间 可 较 短 ， 根 据 目前 
DNS 服务 器 设 定 的 TTL 时 间 为 600 秒 。 

(2 ) 数据 的 切换 及 校 验 

前 文 备份 策略 中 提 到 ， 备 份 系统 中 的 数据 库 文件 采 
用 周期 同步 策略 进行 冷 备 ， 同 机 房 和 异地 备份 机 房 同步 
周期 均 为 1 天， 如 果 只 采用 冷 备 数据 作为 备用 系统 的 数 
据 源 , 从 RPO (恢复 点 目标 ) 的 指标 来 看 数据 差异 过 大 ， 
就 相同 机 房 而 言 ， 业 务 数据 理论 上 最 大 会 出 现 24 小 时 的 


集群 采用 元 余 结 构 部 署 ， 具 有 和 较 高 的 可 用 性 ， 单 机 故障 
不 影响 集群 的 健康 使 用 。 

发 布 系统 数据 库 恢 复 完成 后 ， 启 用 数据 自动 检查 
程序 ， 检 查 程序 会 对 故障 时 间 点 到 当前 的 业务 数据 逐条 
进行 检查 ， 验 证 mysql 数据 库 是 否 包含 此 条 目 ， 不 同 于 
mysql 校 验 的 是 ， 这 里 不 是 按照 mysql 的 数据 结构 进行 检 
验 ， 而 是 按照 实际 业务 发 生 的 数据 进行 检验 ， 也 就 是 会 
从 ES 中 按时 间 顺 序 查 出 每 条 文稿 信息 ， 在 mysql 相关 表 


数据 浪 后 ， 这 对 于 CMS 系统 而 言 是 不 能 接受 的 。 因 此 需 
要 进一步 进行 差异 数据 的 恢复 。 

这 里 分 别 从 数据 库 视 角 和 业务 视角 进行 恢复 和 验证 ， 
首先 数据 库 恢复 程序 对 mysql 数据 库 完 成 细 粒 度 的 恢 
复 ， 保 证 数据 库 的 条 目 完整 ， 之 后 数据 验证 程序 会 根据 
ElasticSearch 中 的 具体 业务 数据 ( 稿件， 专题 ) 等 对 数据 
的 恢复 的 效果 及 完整 性 进行 自动 校 验 。 

3. 3 数据 恢复 

数据 恢复 分 为 两 个 步骤， 数据 库 全 库 恢 复 及 增 量 添 
加 。 

全 库 恢 复 每 天 进行 一 次 ， 在 每 日 凌晨 2 点 进行 数据 
库 备份 后 ， 将 运行 文件 同步 脚本 至 备份 主机 ， 并 进行 数 
据 库 的 装载 和 修复 工作 ， 使 之 达到 可 用 状态 。 

增 量 添加 的 基本 流程 : 主 系统 产生 的 Binlog 日 志 与 
备份 系统 进行 5 分钟 一 次 的 实时 同步 。 当 主 系统 发 生 故 
障 后 ， 备 份 系统 会 导入 当天 凌晨 2 点 以 后 的 多 个 binlog 
文件 增 量 数据 ， 将 差异 数据 进行 恢复 至 最 近 的 状态 。 根 
据 binlog 日 志 恢 复 ， 确 定 当 前 备份 系统 mysql 数据 的 最 后 
写 入 时 间 点 ， 然 后 使 用 mysql 自 带 的 mysqlbinlog 工具 导 
出 为 sql 文件 ， 使 用 此 sql 文件 导入 mysql 数据 库 完成 数 
据 的 恢复 。 

3.4 数据 自动 校 验 与 回填 

ElasticSearch 数据 库 集群 , 在 网 站 的 发 布 系统 体系 中 ， 
可 承担 多 重 作用 |: 

作为 全 文 检索 数据 库 。 由 于 ElasticSearch( 简称 ES ) 
构建 于 著名 的 开源 全 文 数据 库 Lucene， 承 担 网 站 全 文 检 
索 是 非常 自然 的 功能 需求 。 

作为 动态 内 容 的 展示 平台 。 大 型 资讯 类 网 站 新 闻 展示 
页 、 首 页 等 页 面 多 以 文件 静态 方式 呈现 ， 而 类 似 列表 页 、 更 


1 进行 检索 ， 如 果 发 现 mysql 数据 库 中 缺少 相关 记录 ， 
则 将 缺少 的 内 容 补 充 到 Mysql 数据 库 的 记录 中 。 
3.5 备份 方案 实际 演练 及 评估 

备份 方案 的 可 行 性 需要 真实 的 演练 验证 ， 针 对 本 系 
统 ， 分 别 模拟 CMS 系统 主 节 点 单机 故障 和 数据 中 心 网 络 
故障 。 

(1 ) 演练 方法 ， 对 于 系统 单机 故障 ， 采 用 关闭 主机 

的 方法 ; 数据 中 心 网 络 故障 的 模拟 则 直接 修改 web 系统 
的 dns 解析 记录 。 
(2 ) 演练 效果 


序号 故障 类 型 CMS 容 灾 方 案 传统 容 灾 方案 
三 过 : 沪 过 迹 

区 

本 RPO=10 分 钟 ， RPO=10 分 钟 ， 

2 | 数据 库 单机 故障 RTO=5 分 钟 RTO<4 小 时 

- 4 Ww 用 上 

3 | 数据 中 心 级 故障 | 0 二 分钟 ， | RE 分 外 ， 

表 1 


如 表 1， 记 录 了 CMS 容 灾 方 案 在 实际 演练 中 的 RPO 
和 RTO 时 间 ， 我 们 可 以 看 出 ， 遇 到 web 系统 的 故障 ， 
CMS 系统 容 灾 和 传统 的 容 灾 方 案 因 为 都 采用 了 文件 实 
时 同步 方式 ， 所 以 恢复 时 间 上 没有 差距 ， 但 如 果 发 生 数 
据 库 系 统 的 故障 或 者 数据 中 心 级 别 的 故障 ，CMS 系统 的 
RPO 时 间 短 于 传统 的 容 灾 方 案 。RPO 时 间 则 明显 短 于 传 
统 容 灾 方 案 , 对 于 数据 可 用 性 带 来 本 质 的 提升 。 也 就 是 说 ， 
当前 CMS 系统 的 容 灾 方 案 可 以 做 到 当 遇 到 严重 的 系统 故 
障 时 ， 可 以 在 10 分 钟 内 恢复 系统 使 用 ， 并 且 20 分 钟 内 
可 以 将 数据 恢复 至 系统 故障 前 的 5 分 钟 内 。 


(作者 单位 : 中 国 新 闻 社 ) 


